AI Papers Daily

#Robot Learning

2 篇

Multimodal Embodied Agents: A Unified Capability-centric Perspective from Computer-Use to Robot-Use

多模态具身智能体：从计算机使用到机器人使用的统一能力中心视角

🧭 多模态具身 Agent 能力框架与评测

Show Lab, National University of Singapore

提出 PAPAV 五功能框架，统一比较计算机使用与机器人智能体，揭示 Anticipate 与 Verify 评测缺失

📌 工作参考价值（4 点）

• 将推荐/搜索 Agent 按 Perceive、Anticipate、Plan、Act、Verify 拆解能力项，分别建立评估指标，而不是只看最终转化或任务成功，便于定位失败环节。
• 在生成式推荐或 query 改写中，显式引入“动作影响预判”和“结果校验”模块：生成候选前先做效果预估与风险检查，生成后主动验证用户反馈，弥补现有链路只优化 Act 的不足。
• 对自动操作类 Agent（如电商后台自动化、广告账户操作），可借鉴其按功能而非架构的评测思路，设计分能力测试集，尤其覆盖不可逆动作前的 Anticipate 与执行后的 Verify。
• 整体为框架综述，无具体算法可迁移；核心价值在评估维度与系统解耦思路，可作为 Agent 评测设计参考。

Agent | 2026-10-21 | cs.MM | score 6/10

Multimodal AgentsEmbodied AICapability FrameworkEvaluationRobot Learning

In-Context Robot Learning with VLM Agents

基于VLM Agent的上下文机器人学习

🧭 VLM Agent 机器人上下文学习

Morphi Robot · Shanghai Innovation Institute · Huazhong University of Science and Technology · Fudan University · Hunan University

GPT-Policy将VLM agent用于机器人上下文学习，通过context compiler与constrained controller把演示和反馈转为可执行动作，无需梯度更新

📌 工作参考价值（3 点）

• 借鉴 context compiler：不要把所有用户行为或物料序列塞进 prompt，而是抽取任务相关 transition（如 query→click→cart、曝光→点击→转化）压缩成示范对，降低 token 成本、减少噪声，提升 LLM agent 动作提案质量。
• 在 LLM 生成推荐动作或查询改写后，增加一层 constrained controller/verifier：先做业务规则校验（类目、库存、价格、合规）再执行，并把执行结果回写上下文，形成闭环自纠错，适合电商 Agent 可靠上线。
• 弱监督示范可用：仅用无动作标签的人类行为序列（点击/加购/购买）作为 in-context 示例即可提升任务完成度；在标注数据不足时，可先大量使用无显式 label 的序列构造上下文，再用少量对齐动作对（如 query-rewrite pair、next-item ID）提升高敏任务效果。

Agent | 2026-09-15 | HF Daily | score 7/10

VLM AgentsIn-Context LearningRobot LearningEmbodied AIContext CompilerConstrained Controller